20814
6412 
Estoy tratando de hacer que RabbitMQ con Celery y Django vaya a una instancia EC2 para hacer un procesamiento en segundo plano bastante básico. Estoy ejecutando rabbitmq-server 2.5.0 en una instancia EC2 grande.
Descargué e instalé el cliente de prueba según las instrucciones aquí (en la parte inferior de la página). Acabo de dejar ir el script de prueba y obtengo el resultado esperado:
tasa de recepción: 2350 msg / s, latencia mínima / media / máxima: 588078478/588352905/588588968 microsegundos
tasa de recepción: 1844 msg / s, latencia mínima / media / máxima: 588589350/588845737/589195341 microsegundos
tasa de recepción: 1562 msg / s, latencia mínima / media / máxima: 589182735/589571192/589959071 microsegundos
tasa de recepción: 2080 msg / s, latencia mínima / media / máxima: 589959557/590284302/590679611 microsegundos
El problema es que consume una cantidad increíble de CPU:
PID USUARIO PR NI VIRT RES SHR S% CPU% TIEMPO MEM + COMANDO
668 conejomq 20 0 618m 506m 2340 S 166 6.8 2: 31.53 haz.smp
1301 ubuntu 20 0 2142m 90m 9128 S 17 1.2 0: 24.75 java
Estaba probando en una micro instancia anteriormente y consumía por completo todos los recursos de la instancia.
¿Es esto de esperarse? ¿Estoy haciendo algo mal?
Gracias.
Editar:
La verdadera razón de esta publicación fue que celerybeat pareció funcionar bien por un tiempo y luego consumir repentinamente todos los recursos del sistema. Instalé las herramientas de administración de rabbitmq y he estado investigando cómo se crean las colas a partir del apio y del conjunto de pruebas de rabbitmq. Me parece que el apio se está quedando huérfano de estas colas y no se van.
Aquí está la cola generada por el conjunto de pruebas. Se crea una cola y todos los mensajes entran y salen:
Celerybeat crea una nueva cola cada vez que ejecuta la tarea:
Establece el parámetro de eliminación automática en verdadero, pero no estoy completamente seguro de cuándo se eliminarán estas colas. Parecen simplemente acumular y comer recursos lentamente.
¿Alguien tiene alguna idea?
Gracias.
2021-01-29 08:18:31 
Ok, lo descubrí.
Aquí está la documentación relevante:
http://readthedocs.org/docs/celery/latest/userguide/tasks.html#amqp-result-backend
Los resultados antiguos no se limpiarán automáticamente, por lo que debe asegurarse de consumir los resultados o, de lo contrario, el número de colas eventualmente se saldrá de control. Si está ejecutando RabbitMQ 2.1.1 o superior, puede aprovechar el argumento x-expires para las colas, que expirarán las colas después de un cierto límite de tiempo después de que no se utilicen. La caducidad de la cola se puede establecer (en segundos) mediante la configuración CELERY_AMQP_TASK_RESULT_EXPIRES (no habilitado de forma predeterminada).
|
Para agregar a la solución de Eric Conner a su propio problema, http://docs.celeryproject.org/en/latest/userguide/tasks.html#tips-and-best-practices dice:
Ignore los resultados que no desea
Si no le importan los resultados de una tarea, asegúrese de configurar la opción ignore_result, ya que almacenar los resultados desperdicia tiempo y recursos.
@ app.task (ignore_result = True)
def mytask (…):
alguna cosa()
Los resultados pueden incluso deshabilitarse globalmente usando la configuración CELERY_IGNORE_RESULT.
Eso, junto con la respuesta de Eric, es probablemente una de las mejores prácticas mínimas para administrar sus resultados de backend.
Si no necesita un backend de resultados, configure CELERY_IGNORE_RESULT o no configure un backend de resultados en absoluto. Si necesita un backend de resultados, configure CELERY_AMQP_TASK_RESULT_EXPIRES para que esté protegido contra la acumulación de resultados no utilizados. Si no lo necesita para una aplicación específica, configure el ignorar local como se indicó anteriormente.
|
Tu respuesta
StackExchange.ifUsing ("editor", function () {
StackExchange.using ("editor externo", función () {
StackExchange.using ("fragmentos", función () {
StackExchange.snippets.init ();
});
});
}, "fragmentos de código");
StackExchange.ready (function () {
var channelOptions = {
etiquetas: "" .split (""),
id: "1"
};
initTagRenderer ("". split (""), "" .split (""), channelOptions);
StackExchange.using ("editor externo", función () {
// Debe activar el editor después de los fragmentos, si los fragmentos están habilitados
if (StackExchange.settings.snippets.snippetsEnabled) {
StackExchange.using ("fragmentos", función () {
createEditor ();
});
}
else {
createEditor ();
}
});
function createEditor () {
StackExchange.prepareEditor ({
useStacksEditor: false,
heartbeatType: 'respuesta',
autoActivateHeartbeat: falso,
convertImagesToLinks: verdadero,
noModals: cierto,
showLowRepImageUploadWarning: true,
reputacionToPostImages: 10,
bindNavPrevention: verdadero,
sufijo: "",
imageUploader: {
brandingHtml: "Con tecnología \ u003ca href = \" https: //imgur.com/ \ "\ u003e \ u003csvg class = \" svg-icon \ "width = \" 50 \ "height = \" 18 \ "viewBox = \ "0 0 50 18 \" fill = \ "none \" xmlns = \ "http: //www.w3.org/2000/svg \" \ u003e \ u003cpath d = \ "M46.1709 9.17788C46.1709 8.26454 46.2665 7.94324 47.1084 7.58816C47.4091 7.46349 47.7169 7.36433 48.0099 7.26993C48.9099 6.97997 49.672 6.73443 49.672 5.93063C49.672 5.22043 48.9832 4.61182 48.1414 4.61182C47.4335 4.61182 46.725645.40531 43.1481 6.59048V11.9512C43.1481 13.2535 43.6264 13.8962 44.6595 13.8962C45.6924 13.8962 46.1709 13.2535 46.1709 11.9512V9.17788Z \ "/ \ u003e \ u003cpath d = \" M32.492 10.1419C32.492 14.648.942348 41.5985 12.6954 41.5985 10.1419V6.59049C41.5985 5.28821 41.1394 4.66232 40.1061 4.66232C39.0732 4.66232 38.5948 5.28821 38.5948 6.59049V9.60062C38.5948 10.8521 38.2696 11.5455 37.0451 11.5454.5C35.8 3520.49455C35.8 521 35.4954 9.60062V6.59049C35.4954 5.28821 35.0173 4.66232 34.0034 4.66232C32.9703 4.66232 32.492 5.28821 32.492 6.59049V10.1419Z \ "/ \ u003e \ u003cpath fill-rule = \" evenodd \ "clip-rule = \" evenodd \ "d = \ "M25.6622 17.6335C27.8049 17.6335 29.3739 16.9402 30.2537 15.6379C30.8468 14.7755 30.9615 13.5579 30.9615 11.9512V6.59049C30.9615 5.28821 30.4833 4.66231 29.4502 4.66231C28.9913 4.6625031 28.4502 4.66231C28.9913 4.66249C289.16527 .1369 4.56087 21.0134 6.57349 21.0134 9.27932C21.0134 11.9852 23.003 13.913 25.3754 13.913C26.5612 13.913 27.4607 13.4902 28.1109 12.6616C28.1109 12.7229 28.1161 12.7799 28.121 12.8346C28.92.125.283 28.121 12.8346C2834.232.283 28.121 12.8346C2834.125.630 15.2321 24.1352 14.9821 23.5661 14.7787C23.176 14.6393 22.8472 14.5218 22.5437 14.5218C21.7977 14.5218 21.2429 15.0123 21.2429 15.6887C21.2429 16.7375 22.9072 17.6335 25.6622 17.6317.10.99 732.943C 27.2119 7.09766 28.0918 7.94324 28.0918 9.27932C28.0918 10.6321 27.2311 11.5116 26.1024 11.5116C24.9737 11.5116 24.1317 10.6491 24.1317 9.27932Z \ "/ \ u003e \ u003cpath d = \" M16.802802.86.9512C358. 19.8079 13.2535 19.8079 11.9512V8.12928C19.8079 5.82936 18.4879 4.62866 16.4027 4.62866C15.1594 4.62866 14.279 4.98375 13.3609 5.88013C12.653 5.05154 11.6581 4.62866 10.3573 4.62866C9.34336 4.62866 8.5780.583 4.899316.51203 4.66232C5.47873 4.66232 5.00066 5.28821 5.00066 6.59049V11.9512C5. 893 13.2535 11.3711 13.8962 12.4044 13.8962C13.4375 13.8962 13.9157 13.2535 13.9157 11.9512V8.90741C13.9157 7.58817 14.311169.980 d. 87209 0.400291C0.843612 0.400291 0 1.1159 0 1.98861C0 2.87869 0.822846 3.57676 1.87209 3.57676C2.90056 3.57676 3.7234 2.87869 3.7234 1.98861C3.7234 1.1159 2.90056 0.400291 1.87209 # 0.400291Z \ u003 ueB = llenar c / a \ u003e ",
contentPolicyHtml: “Contribuciones de usuarios con licencia bajo \ u003ca href =” https: //stackoverflow.com/help/licensing “\ u003ecc by-sa \ u003c / a \ u003e \ u003ca href =” https://stackoverflow.com / legal / política de contenido \ "\ u003e (política de contenido) \ u003c / a \ u003e",
allowUrls: verdadero
},
onDemand: verdadero,
discardSelector: ".discard-answer"
, inmediatamenteShowMarkdownHelp: true, enableTables: true, enableSnippets: true
});
}
});
¡Gracias por contribuir con una respuesta a Stack Overflow!
Asegúrese de responder la pregunta. ¡Proporcione detalles y comparta su investigación!
Pero evita ...
Pedir ayuda, aclaraciones o responder a otras respuestas.
Hacer declaraciones basadas en opiniones; Respaldelos con referencias o experiencia personal.
Para obtener más información, consulte nuestros consejos sobre cómo escribir buenas respuestas.
Borrador guardado
Borrador descartado
Regístrate o inicia sesión
StackExchange.ready (function () {
StackExchange.helpers.onClickDraftSave ('# login-link');
});
Regístrese con Google
Registrarse usando Facebook
Regístrese usando correo electrónico y contraseña
Enviar
Publicar como invitado
Nombre
Email
Requerido, pero nunca mostrado
StackExchange.ready (
function () {
StackExchange.openid.initPostLogin ('. New-post-login', 'https% 3a% 2f% 2fstackoverflow.com% 2fquestions% 2f6362829% 2frabbitmq-on-ec2-consume-tons-of-cpu% 23new-answer', ' question_page ');
}
);
Publicar como invitado
Nombre
Email
Requerido, pero nunca mostrado
Publica tu respuesta
Descarte
Al hacer clic en "Publicar su respuesta", acepta nuestros términos de servicio, política de privacidad y política de cookies.
No es la respuesta que estás buscando? Lea otras preguntas en las etiquetas apio django rabbitmq o formule su propia pregunta.